隐马尔可夫模型（Hidden Markov Model，HMM）是用来描述一个含有隐含未知参数的马尔可夫过程。 本文阅读了2篇blog，理解其中的意思，附上自己的代码，共同学习。

来源：< http://www.cnblogs.com/skyme/p/4651331.html > 假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

当我们无法观测到时使用哪个骰子投掷，仅仅能看到投掷的结果的时候。例如我们得到一个序列值：1 6 3 5 2 7 3 5 2 4。 它其实包含了：1、隐含的状态，选择了哪个骰子；2、可见状态，使用该骰子投出数值。如下：

而假设，每个状态间转移的概率（选择骰子的概率）是固定的（即为不因观测值的数值而改变）。可以得到状态转移矩阵。

那么我们得到观测值序列（1 6 3 5 2 7 3 5 2 4）出现概率的计算公式：

举前3个观测值（1 6 3）的例子，计算如下：

以上计算中，假设选择3个骰子的概率是相同的，都是1/3。

通过以上例子可以抽象一下，上面的例子中：

3种不同情况的骰子，即为：状态值集合（StatusSet） 所有可能出现的结果值（1、2、3、4、5、6、7、8）：观察值集合（ObservedSet） 选择不同骰子之间的概率：转移概率矩阵（TransProbMatrix ），状态间转移的概率 在拿到某个骰子，投出某个观测值的概率：发射概率矩阵（EmitProbMatrix ）-即：拿到D6这个骰子，投出6的概率是1/6。 最初一次的状态：初始状态概率分布（InitStatus ）

所以，很容易得到，计算概率的方法就是，初始状态概率分布（InitStatus ）、发射概率矩阵（EmitProbMatrix ）、转移概率矩阵（TransProbMatrix ）的乘积。 当某个状态序列的概率值最大，则该状态序列即为，出现该观测值的情况下，最可能出现的状态序列。

该篇文章讲了怎么使用隐马尔科夫链作分词，原理使用上面的作为理解。下文中提到的SBME4个状态可以类比为上文提到的3个骰子。中文文字即为上文提到的投出的数字。

来源：< http://blog.csdn.net/taoyanqi8932/article/details/75312822 >

HMM的典型模型是一个五元组: StatusSet: 状态值集合 ObservedSet: 观察值集合 TransProbMatrix: 转移概率矩阵 EmitProbMatrix: 发射概率矩阵 InitStatus: 初始状态分布

HMM模型的三个基本假设如下： 有限历史性假设: P(Status[i]|Status[i-1],Status[i-2],… Status[1]) = P(Status[i]|Status[i-1]) 齐次性假设(状态和当前时刻无关): P(Status[i]|Status[i-1]) = P(Status[j]|Status[j-1]) 观察值独立性假设(观察值只取决于当前状态值): P(Observed[i]|Status[i],Status[i-1],…,Status[1]) = P(Observed[i]|Status[i])

为(B, M, E, S): {B:begin, M:middle, E:end, S:single}。分别代表每个状态代表的是该字在词语中的位置，B代表该字是词语中的起始字，M代表是词语中的中间字，E代表是词语中的结束字，S则代表是单字成词。 如：

为就是所有汉字(东南西北你我他…)，甚至包括标点符号所组成的集合。 状态值也就是我们要求的值，在HMM模型中文分词中，我们的输入是一个句子(也就是观察值序列)，输出是这个句子中每个字的状态值。

如：

数值是对概率值取【对数】之后的结果(可以让概率【相乘】的计算变成对数【相加】)。其中-3.14e+100作为负无穷，也就是对应的概率值是0。 也就是句子的第一个字属于{B,E,M,S}这四种状态的概率。

【有限历史性假设】

转移概率是马尔科夫链。Status(i)只和Status(i-1)相关，这个假设能大大简化问题。所以，它其实就是一个4x4(4就是状态值集合的大小)的二维矩阵。矩阵的横坐标和纵坐标顺序是BEMS x BEMS。(数值是概率求对数后的值）

【观察值独立性假设】 P(Observed[i], Status[j]) = P(Status[j]) * P(Observed[i]|Status[j]) 其中，P(Observed[i]|Status[j])这个值就是从EmitProbMatrix中获取。

这五元的关系是通过一个叫Viterbi的算法串接起来，ObservedSet序列值是Viterbi的输入，而StatusSet序列值是Viterbi的输出，输入和输出之间Viterbi算法还需要借助三个模型参数，分别是InitStatus, TransProbMatrix, EmitProbMatrix。

定义变量 二维数组 weight[4][15]，4是状态数(0:B,1:E,2:M,3:S)，15是输入句子的字数。比如 weight[0][2] 代表 状态B的条件下，出现’硕’这个字的可能性。

二维数组 path[4][15]，4是状态数(0:B,1:E,2:M,3:S)，15是输入句子的字数。比如 path[0][2] 代表 weight[0][2]取到最大时，前一个字的状态，比如 path[0][2] = 1, 则代表 weight[0][2]取到最大时，前一个字(也就是明)的状态是E。记录前一个字的状态是为了使用viterbi算法计算完整个 weight[4][15] 之后，能对输入句子从右向左地回溯回来，找出对应的状态序列。

确定边界条件和路径回溯 边界条件如下： 对于每个句子，最后一个字的状态只可能是 E 或者 S，不可能是 M 或者 B。 所以在本文的例子中我们只需要比较 weight[1(E)][14] 和 weight[3(S)][14] 的大小即可。

在本例中： weight[1][14] = -102.492; weight[3][14] = -101.632; 所以 S > E，也就是对于路径回溯的起点是 path[3][14]。

回溯的路径是: SEBEMBEBEMBEBEB 倒序一下就是: BE/BE/BME/BE/BME/BE/S 所以切词结果就是: 小明/硕士/毕业于/中国/科学院/计算/所

这里可以通过理解上文提到的所有，进行分词。 给出我的github练习源码：https://github.com/longgb246/pythonstudy/blob/master/longgb/Algorithm/TextMining/NLP/HMM/HMM.py 以及数据：https://github.com/longgb246/pythonstudy/tree/master/longgb/Algorithm/TextMining/Data

首先，需要一个完整的预料信息，该预料库需要特征： 1、覆盖范围广，理论上需要覆盖你所有可能会被分词的文字，否则发射矩阵为出现极端情况，无法分词。 2、需要文本标注正确，如一些专有名词，"太平洋保险"等等，需要被分为一个词，因为他是一个公司名称，而不应该被分为"太平洋/保险"。 提取该语料库，可能需要人工干预。 将分词的结果进行标注，按照上文提到的信息，打上SBME的标注：

我这里的练习为了方便，直接使用jieba分词的结果，仅仅作为练习。

初始状态即为第一次选择的状态的概率。 这里选择的是语料库中，每个句子的第一个字的状态，统计该状态的频率，计算出该状态的概率。当然，为了确保不会出现一些问题，默认，ME是不会出现在句首，即将其概率设置为0，在矩阵中为：-3.14e+100（取了log值，方便转化为加法计算）。 伪代码：

转移概率矩阵是一个SBEMSBEM的44的矩阵，但是其中有一些是不可能转移的信息，如：B->S，E->M等等，将这些情况的概率的log值设置为-3.14e+100。其他的按照词前后的状态序列统计，统计前后之间的关系，这里已知假设，当前状态仅与前一状态有关，与更前面的状态无关。所以，思路：

回想一下上面举的例子，发射概率矩阵是在某状态下，出现某个观测值的概率，所以有，在某状态下，所有该状态下观测值的概率之和为1【该处理解对于计算发射矩阵很重要，即，当矩阵的列为SBEM，行为观测值时候，某一行的概率和为1，而不是某一列的概率和为1。根据隐马尔科夫链的计算公式，不理解的看看本文第一部分】。 所以，统计方法：

第二部分给出了，Viterbi算法的方法，可以根据初始状态概率分布（InitStatus ）、转移概率矩阵（TransProbMatrix ）、发射概率矩阵（EmitProbMatrix ）以及观测值，得出一个最有可能的状态序列。按照该状态序列，将文本划分出来即可。